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@ Verfahren zum Wiedererkennen von unikaten Bildsignalen und Vorrichtung zur Durchfuhrung des Verfahrens 

(57) Das Verfahren zum Wiedererkennen von unikaten Bildsi- 
gnalen, insbesondere von unikaten Biidfolgen tastet Lurnin- 
anzwerte vorbestimmter Pixel und vorzugsweise vorbe- 
stimmter Gruppen von Pixein (Cluster) ab, bildet ein Diffe- 
renzsignal zwischen den Luminanzwerten der vorbestimm- 
ten Cluster und aus diesen Differenzwerten eine Stgnum- 
funktion. Pro Vollbild entsteht damit ein binarer Merkmals- 
vektor, dessen Lange der Anzahl der pro Vollbild abgetaste- 
ten Cluster entspricht. Fur eine vorbestimmte Anzahl aufein- 
anderfolgender Vollbilder (z. B. 51) wird dann ein Bildse- 
quenz-Merkmalsvektor gebildet, der nach jedem Vollbild 
aktualisiert wird. Nach jedem Vollbild wird der aktualisierte 
Merkmalsvektor mit einer Vielzahl von in gleicher Weise 
ermittelten Merkmalsvektoren, die abgespeicherte, wieder- 
zuerkennende Biidfolgen identifizieren, korreliert. Bei einem 
vorbestimmten Korrelationswert, wird ein Signal "Bildfolge 
■ wiedererkannt" erzeugt. 
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Beschreibung 

Die Erfindung bezieht sich auf ein Verfahren zum 
Wiedererkennen von unikaten Bildsignalen, insbeson- 
dere von Fernsehbildern und eine Vorrichtung zur 5 
DurchfQhrung des Verfahrens. FUr verschiedene Zwek- 
ke wie z. B. statistische Auswertungen, Abrechnungen, 
eta ist es wunschenswert, festzustellen, ob ein bestimm- 
tes Bild oder eine bestimmte Bildfolge in einer Sendung 
vorhanden ist Beispielsweise mochten Auftraggeber io 
von Werbespots im Fernsehen tiberprlifen, ob und wann 
der Werbespot von einem Fernsehsender abgestrahit 
wurde und auch, ob er in voller Lange abgestrahit wur- 
de oder gekurzt wurde. Ahnliches gilt fur Spielfilme und 
sonstige Fernsehsendungen. Bisher wurde dies entwe- 15 
der von Personen Qberprlift, die das vollstandige Pro- 
gramm tiberwachten und entsprechende Aufzeichnun- 
gen machten oder dadurch, daB das vollstandige Pro- 
gramm auf Videorecordern aufgezeichnet wurde und 
anschlieBend die Abstrahlung bestimmter Sendungen 20 
darauf Qberpriift wurde. Diese Methoden sind sehr per- 
sonalaufwendig und aufgrund menschlichen Versagens, 
Unauf merksamkeit, eta nicht zuverlassig genug. 

Eine ahnliche Problematik stellt sich auch bei der 
Oberwachung von Sprach- und Musiksendungen, wo 25 
dieses Problem in der EP 0 296 588 A2 dadurch gelost 
wird, daB von den zu untersuchenden Tonsignalen je- 
weils HUllkurven gebildet und diese HOllkurven auf ei- 
nen engen, niedrigen Frequenzbereich bandbegrenzt 
werden. Zeitliche Ausschnitte werden nach Digitalisie- 30 
rung in einem Speicher als "Masken" gespeichert Bei 
der Oberwachung von Sendungen werden dann die 
bandbegrenzten HUllkurvensignale der zu untersuchen- 
den Tonsignale in gleichlangen Abschnitten in einem 
zweiten Speicher zwischengespeichert Innerhalb des 35 
Zeitraumes zwischen dem Eintreffen zweier aufeinan- 
derfolgender zu untersuchender Signale wird dann der 
Inhalt des Zwischenspeichers mit alien Masken des er- 
sten Speichers verglichen, wobei bei einem vorgegebe- 
nen Grad der Obereinstimmung ein Erkennungssignal 40 
erzeugt wird. 

Eine naheliegende LSsung fur die Oberwachung von 
Fernsehsendungen ware es, mit diesem aus der 
EP 0 296 588 bekannten Verfahren, die Tonsignale der 
Fernsehfilme, Werbespots, eta auszuwerten. Dies fuhrt 45 
aber nicht zu dem gewQnschten Erfolg, da beispielswei- 
se manche Werbespots, bei gieicher Bildfolge, regional 
mit anderem Text oder anderer Musik abgestrahit wer- 
den. 

Somit ist es erforderlich, das Bild oder die Bildfolge 50 
selbst auszuwerten und zu uberprtifen, ob eine abge- 
strahlte Bildfolge mit einer Referenzbildfolge iibereins- 
timmt 

Die DE-OS 24 14 809 zeigt einen Mustererkenner, bei 
dem das Bild in Mikrobereiche, d. h. eine Anzahl n von 55 
Pixeln aufgeteilt wird. Zur Komprimierung der Informa- 
tion werden Helligkeitsanderungsvektoren bezttglich 
der Mikrobereiche bestimmt FQr eine Mustererken- 
nung ist zusatztich ein Vergleicher zum Vergleichen mit 
mehreren voreingestellten Einheitsvektoren vorgese- 60 
hen. Ein Vergleicherentscheider vergieicht den erzeug- 
ten Eigenschaftscode f Qr jeden Mikrobereich mit einem 
gespeicherten Eigenschaftscode und erzeugt bei ent- 
sprechender Obereinstimmung ein AusgangssignaL 

Verfahren zur Bilderkennung werden in verschiede- 65 
nen Bereichen der Technik angewandt, beispielsweise 
bei der industriellen Fertigung, urn festzustellen, ob ein 
bestimmter Gegenstand in einer bestimmten Ausrich- 
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tung auf einem Forderband transportiert wird, vgl. DE- 
Al-39 13 620, DE-A1-34 34 624, DE-A1 41 23 713, DE 
Al 40 34 742, DE-C2-30 01 588 oder DE-OS 24 26 803. 
All diese bekannten Verfahren untersuchen einzelne 
Bilder aber keine Bildfolgen. Wollte man mit diesen 
Verfahren Bildfolgen von Fernsehbildern von einer 
Wiederholfrequenz von 25 Vollbildern pro Sekunde an- 
wenden, so wurde der Aufwand unvertretbar ansteigen. 

Aus der DE-C2-34 15 685 ist es bekannt, einen Sze- 
nenwechsel bei der Film- und Videoproduktion dadurch 
automatisch zu erkennen, daB eine Szene daraufhin 
iiberwacht wird, ob Anderungen der Bildsignale auftre- 
ten, die auf ein sich innerhalb der Szene bewegendes 
Objekt zuruckzufuhren sind. Das Problem wird dort so 
gelost, daB mittlere Helligkeitswerte eines Bildes gebil- 
det und mit den mittieren Helligkeitswerten eines un- 
mittelbar darauf folgenden Bildes laufend verglichen 
werden, wobei durch Bewegungen verursachte Heliig- 
keitsanderungen durch nachgeschaltete Filter eliminiert 
werden, derart, daB n diskrete Differenzwerte auf einen 
einzelnen Szenenwechselimpuls untersucht werden. Die 
aus dem Vergleich gewonnenen Ergebnisse werden 
dann automatisch bewertet und ausgegeben. Fur die 
Wiedererkennung von als Unikate vorliegenden Refe- 
renz-Bildfolgen ist dieses Verfahren nicht geeignet, zu- 
mal gerade bei Werbesendungen fiber relativ lange 
Zeitraume von einigen Sekundcn auch unbewcgte 
Standbilder gesendet werden und Szenenwechsel fiir 
das Wiedererkennen ganz bestimmter (unikater) Bild- 
folgen nicht aussagekraftig sind. 

Aus der GB-PS 1 603 940 ist ein Kamera-Oberwa- 
chungssystem bekannt, das automatisch feststellt, ob 
sich im Kamerabereich befindliche Objekte bewegen. 
Hierzu werden Helligkeitswerte von mindestens zwei 
unterschiedlichen Bereichen der Szene abgetastet, in 
elektrische Signale umgewandelt und mit entsprechen- 
den Werten einer nachfolgenden Abtastung verglichen. 
Andern sich die Helligkeitswerte an identischen Bildbe- 
reichen innerhalb kurz aufeinanderfolgender Zeitinter- 
valle, so ist dies ein sicheres Zeichen fiir ein sich bewe- 
gendes Objekt im Kamerabereich. Der gleiche Grund- 
gedanke wird ebenfalls bei einem Oberwachungssystem 
gemaB der GB-PS 12 79 451 angewandt Fur die Zwek- 
ke der vorliegenden Erfindung ist dieses Verfahren 
ebenfalls nicht anwendbar, da langer dauernde Standbil- 
der nicht erkannt werden konnen und da Helligkeits- 
wechsel in aufeinanderfolgenden Bildern nicht genug 
Informadonen enthaiten, urn als Unikat vorliegende 
Bildfolgen einwandfrei wiedererkennen zu kdnnen. 

Aufgabe der Erfindung ist es daher, ein Verfahren und 
eine Schaltungsanordnung der eingangs genannten Art 
zu finden, das mit hoher Sicherheit das Wiedererkennen 
von Bildern oder Bildfolgen gestattet Ein weiteres Ziel 
der Erfindung liegt darin, das Verfahren weitestgehend 
in Echtzeit durchzufuhren und auch zu Cberwachen, ob 
eine von vieien Bildfolgen aktueil abgestrahit wird. Da- 
bei soli der technische Aufwand moglichst gering sein, 
was bedingt, die Datenmenge moglichst zu reduzieren, 
was wiederum Voraussetzung dafQr ist, das Verfahren 
weitestgehend in Echtzeit ablauf en zu lassen. 

Diese Aufgabe wird durch die im Patentanspruch 1 
angegebenen Merkmale gelost. Vorteilhafte Ausgestal- 
tung und Weiterbildungen der Erfindung sind den Un- 
teranspruchen zu entnehmen. 

Fur die Erkennung eines unikaten Bildes ist es mit 
Sicherheit ausreichend, alle Bildpunkte eines ausge- 
strahlten Bildes mit alien Bildpunkten eines ReferenzbU- 
des zu vergleichen. Dies wurde jedoch zu einer zu ver- 
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gleichenden Datenmenge fQhren, die in einer Echtzeit- 
- verarbeitung nicht mehr zu bewaltigen ware. Ein Voll- 
bild einer Fernsehabstrahlung mit beispielsweise 620 
Spalten und 512 Zeiien enthalt 317.440 PixeL Wurde 
man hierbei die Luminanzwerte (Helligkeitswerte) aus- 
werten und die Farbinformation unberucksichtigt lassen 
und mit einer Amplitudenaufldsung der Luminanzwerte 
von 8 Bit arbeiten, was 256 Graustufen entspricht, so 
hatte man pro Voilbild eine Datenmenge von rund 317 
Kbyte pro Bild. Bei 25 Vollbildern pro Sekunde entspra- 
che dies einem zu verarbeitenden DatenfluB von rund 8 
Mbyte pro Sekunde. Ein praktikabler und weitestge- 
hend in Echtzeit arbeitender Ansatz zur Erkennung un- 
ikater Bildsignale muB also versuchen, mit Teilmengen 
dieses groBen Datenumfanges auszukommen. Theore- 
tisch genUgt schon ein einzelnes Bildelement (Pixel) um 
bei storungsfreier Obertragung das gesuchte Bild wie- 
der zu finden. Dabei wird man allerdings eine groBe 
Anzahl andcrer Bilder identifizieren, die zufallig in die- 
sem einen Pixel mit dem gesuchten Bild ubereinstimmen 
(Falscherkennung). Ein Problem besteht also darin, eine 
moglichst geringe aber doch ausreichende Zahl von 
Bildmerkmalen zu definieren, die das MaB der Falscher- 
kennung auf ein fur den jeweiligen Anwendungszweck 
vertretbares MaB reduzieren. 

Bei der Erfindung werden die Luminanzwerte (Hel- 
ligkeitswerte) verschiedener Pixel erfaBt- Ein einziges 
Pixel ist wegen des immer vorhandenen Rauschens fur 
einen Vergleich aber nicht geeignet Wird beispielswei- 
se der Luminanzbereich von 0 V bis 1 V mit 8 Bit digita- 
lisiert codiert, so reprasentiert eine Quantisierungsstufe 
der Digitalisierung einen Spannungsbereich von ca. 4 
mV. Bei einem betrieblichen Storabstand von 40 dB be- 
zogen auf einen 700 mV WeiBwert betragt die effektive 
Storamplitude 7 mV und ist damit doppelt so hoch wie 
eine Quantisierungsstufe. Der Luminanzwert eines Pi- 
xels schwankt somit zufallig um mehrere Quantisie- 
rungsstufen. Beim Vergleich zweier entsprechender Pi- 
xel miiBte man ein mehrere Stufen umfassendes Tole- 
ranzfenster zugrundelegen. Zusatzlich sprechen gegen 
die Verwendung eines einz einen Pixels als Vergleichs- 
merkmal folgende Grunde: Bei der Bildspeicherung, 
-tibertragung und der -erfassung kann es je nach ver- 
wendetem Verfahren zu zeitlichen Ungenauigkeiten 
kommen, die sich in einer zufalligen Positionsanderung 
des Pixels, bezogen auf die Spalten oder Zeiien des Bil- 
des, bemerkbar machen. Diese zeitliche Ungenauigkeit 
kann im Bereich von einigen Nanosekunden Iiegen. Es 
warden dann Pbcel miteinander verglichen, die in Wirk- 
Iichkeit keinen Bezug zueinander haben. 

Um diese Schwierigkeiten zu umgehen, werden bei 
der Erfindung sogenannte Cluster gebildet, die aus meh- 
reren Pixeln bestehen. Dabei wird der mittlere Lumin- 
anzwert der Pixel eines Clusters oder die Summe der 
Luminanzwerte der Pixel eines Clusters bestimmt. Vor- 
zugsweise sind die Cluster aus einem raumlich zusam- 
menhangenden Bereich des Bildes entnommen und wie- 
derum hier vorzugsweise aus einem quadratischen Be- 
reich. 

Fur die Auswahl der GroBe der Cluster bei der Erfin- 
dung waren folgende Oberlegungen maBgeblich: Stati- 
stische Messungen an tausenden von Bildern haben ge- 
zeigt, daB der von der Norm vorgesehene Spektralbe- 
reich fttr Videosignale von 5 Mhz bei weitem nicht aus- 
genutzt wird Demnach bestehen Bilder im Mittel uber- 
wiegend aus tieffrequenten Informationen, was auch aus 
dem Bildinhalt verstandlich wird, wo typische Objekte 
mit bestimmter Mindestausdehnung dargestellt werden. 



Es zeigte sich allerdings auch, daB es keine bevorzugte 
ObjektgroBe gibt, sondern einen gleitenden Obergang 
von feinster Struktur zu groben, homogenen Flachen. 
MeBtechnisch kann man diese Bildeigenschaften durch 
5 die Erfassung der zcitlich gemittelten Varianz bzw. der 
Standardabweichung eines Zeilenclusters beschreiben. 
Ein vdllig homogenes Gebiet konstanter Luminanz 
wurde die Varianz 0 aufweisen; ein fur den gesamten 
Bildinhalt representatives Cluster hatte die groBtmogli- 

io che Varianz. 

Fig. 1 zeigt die Standardabweichung eines Spielfilms 
(Werbung) in Abhangigkeit von der ClustergroBe und 
zum anderen die gleiche Messung an bandbegrenztem 
Rauschen (6 Mhz) als Videosignal. Fur die Wahl der 

15 ClustergroBe gibt es nach diesen Messungen keine ein- 
deutigen, scharf abgrenzbaren Kriterien. Sie sollte gera- 
de so groB sein, daB die genannten Zeitprobleme unter- 
drOckt und der EinfluB des Rauschens gemindert wird. 
Sie sollten aber nicht so groB sein, daB relevante Bildde- 

20 tails durch die Mittelwertbildung nicht mehr erkannt 
werden. Als vernunftiger KompromiB wird bei einem 
bevorzugtem Ausfuhrungsbeispiel der Erfindung eine 
ClustergroBe von 5x5 Pixeln, angeordnet im Quadrat, 
gewahlt Diese Wahl ist zunachst jedoch nur als erste 

25 Naherung an ein relatives Optimum anzusehen und 
kann in gewissen GroBen geandert werden. Bei dieser 
ClustergroBe wird der Storabstand im gfinstigsten Fall 
um den Faktor 5 entsprechend 14 dB durch Mittelung 
verbessert 

30 Bei der Erfindung werden mehrere Mittelwerte sol- 
dier Cluster miteinander "verglichen". Es stellen sich die 
Fragen, wie viele Cluster verwendet werden, wie diese 
in Form von "Masken" auf dem Bild verteilt werden und 
wie sie zu vergleichen sind. Aufgrund der in Echtzeit zu 

35 verarbeitenden Datenmenge, der heutigen Arbeitsge- 
schwindigkeit von Hardware-Bausteinen und den Ge- 
nauigkeitsanforderungen an die Bilderkennung kommt 
die Erfindung zu der Erkenntnis, daB es ausreicht, aus 
jedem Voilbild von 40 ms Dauer ein Merkmal von 10 Bit 

40 abzuleiten. Hierzu schl&gt die Erfindung in einem Aus- 
fuhrungsbeispiel vor, 10 Cluster pro Voilbild zu verwen- 
den und die mittlere Luminanz von in einer vorgegebe- 
nen Reihenfolge "benachbarter" Cluster miteinander zu 
vergleichen. Der Vergleich besteht hier in einer Diffe- 

45 renzbildung der Luminanzwerte. Aus dieser Differenz 
wird dann das mathematische Vorzeichen (Signumf unk- 
tion) digital codiert Mit anderen Worten wird bei dem 
Vergleich nur untersucht, welcher von zwei miteinander 
zu vergleichenden Clustern heller ist, & h. einen grdBe- 

50 ren mittleren Luminanzwert hat. Um auch den Fall zu 
erfassen, daB zwei "benachbarte" Cluster innerhalb der 
bei der Digitalisierung auftretenden Quantisierung glei- 
che Helligkeitswerte haben, wird . der Vergleich wie 
folgt durchgefuhrt: 

55 

Cluster (n) < Cluster (n + 1) = 1 
Cluster (n) > = Cluster (n + 1) » 0. 

Zusatzlich kann fur den Vergleich noch eine Hystere- 
60 se vorgesehen sein, dergestalt, daB die erste Bedingung 
"Cluster (n) < Cluster (n + 1)" nur dann als erfiillt 
angesehen wird, wenn die Differenz der Luminanzwerte 
der beiden zu vergleichenden Cluster groBer als ein 
vorgegebener Schwellwert ist, wahrend fur alle anderen 
65 Falle die zweite Bedingung "Cluster (n) > « Cluster (n 
+ 1)" als erfullt angesehen wird. Der Schwellwert kann 
beispielsweise zwei Digitalisierungsstuf en betragen. 
Bei zehn Clustern je Bild ergeben sich somit zehn 
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Differenzen, die sich nach der entsprechenden Vorzei- 
chencodierung als 10 Bit darstellen lassen. Bei diesem 
Vergleich wird der zehnte Cluster eines Vollbildes mit 
dem ersten Cluster des nachsten Vollbildes verglichen. 
Es ware aber auch mdglich, den zehnten Cluster eines 
Vollbildes mit dem ersten Cluster desselben Vollbildes 
zu vergleichen. Diese Vorzeichencodierung (Signum- 
funktion) hat nicht nur den Vorteil einer enormen Da- 
tenreduktion, sondern auch, daB der Code unempfind- 
lich gegenQber Pegelschwankungen der Luminanzwer- 
te ist 

Die Lage der Cluster und die Reihenfolge ihrer Ab- 
frage ergibt sich indirekt aus dem Oberlegungen zur 
ClustergrdBe. Wahrend bei der Clusterbildung mdg- 
lichst korrelierte Bildelemente, d. h. Pixel mit innerer 
Bindung der Bildbereiche zu einem Cluster zusammen- 
gefaBt wurden, mussen ftlr die Lage der Cluster und die 
Reihenfolge ihrer Abfrage die einzelnen Cluster zur 
Verbesserung des Informationsgehaltes moglichst un- 
abhSngige Bildbereiche reprasentieren. Ihre Abfrage- 
reihenfoige wird daher so gewShlt, daB sich im Mittel 
eine moglichst groBe Sprungweite ergibt Der Abfrage- 
weg wird dann maximal. Die Cluster kdnnen statistisch 
im Bild angeordnet werden und sind vorzugsweise mog- 
lichst gleich aber den gesamten Bildbereich verteilt 

Da pro Vollbild nur eine sehr kleine Anzahl, bei 10 
Clustcrn pro Vollbild also nur 10 Bit verwendet werden, 
um ein Bild zu identifizieren, ist die Wahrscheinlichkeit 
einer Falscherkennung noch recht hoch. Mit 10 Bit lie- 
Ben sich theoretisch nur 2 10 « 1024 verschiedene Bilder 
identifizieren. Jedes nur denkbare Bild lieBe sich dann 
eindeutig einer Klasse von 1024 moglichen Bildern zu- 
ordnen. FUr die Wiedererkennung unikater Bildsignale 
ist damit aber ein Merkmalsvektor von 10 Bit zu kurz. 

Die Erfindung schl&gt daher weiter vor, einen lange- 
ren Merkmalsvektor zu bilden, durch entsprechendes 
Abtasten mehrerer aufeinanderfolgender Bilder. In ei- 
nem Ausfflhrungsbeispiel der Erfindung werden 51 auf- 
einanderfolgende Bilder ausgewertet, was bei 40 ms pro 
Vollbild dann einer Bildfolge von 2,04 Sekunden ent- 
spricht Man erhfilt dann bei 51 Bildern a 10 Bit einen 
Merkmalsvektor von 510 Bit 

Bei der beschriebenen Form des Datenformates mit 
51 Bildern erh&lt man sehr gute Erkennungsergebnisse 
mit Obereinstimmungen von tiber 90%. Gelegentliche 
zufailige Obereinstimmungen mit anderen Bildfolgen 
weisen einen Grad von hdchstens 75% auf. Bei einer 
Erkennungsschwelle von ca. 85% betrug die Erken- 
nungsrate in Laborversuchen mit einem Gerat nach der 
Erfindung 100% bei 0% Falscherkennungen. Dies gait 
fQr Bildsequenzen mit starkem szenischen Wechsel. 

Unterscheiden sich die Bilder innerhalb einer Se- 
quenz nicht, beispielsweise wenn mehrere oder alle auf- 
einanderfolgende Bilder gleich sind, was bei Standbil- 
dern der Fall ist, ist der Informationsgehalt des Merk- 
malsvektors von 510 Bit zu gering und es kommt zu 
Falscherkennungen. Der Merkmalsvektor von 510 Bit 
ist ja dann streng periodisch aufgebaut mit einer Perio- 
dizitatvonlOBit 

Nach einer Weiterbildung der Erfindung laBt sich der 
Informationsgehalt jedoch deutlich steigern, indem auf- 
einanderfolgenden Bildern unterschiedliche Merkmale 
entnommen werden. Nach diesem AusfOhrungsbeispiel 
der Erfindung wird also abwechselnd mit zwei "Masken" 
fur die Anordnung der Cluster gearbeitet Selbstver- 
st&ndlich liegt es auch im Rahmen der Erfindung mit 
mehr als zwei solcher Masken zu arbeiten, die dann 
zyklisch angewandt werden. Dadurch wird selbst bei 
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Standbildern der Informationsgehalt entsprechend der 
Anzahl der moglichen Masken verdoppelt oder verviel- 
facht Die Clusteranordnungen sind dabei mdglichst so 
zu wahlen, daB sie untereinander nicht zu Korrelationen 
5 fuhren, die Clusteranordnungen also orthogonal zuein- 
ander sind, d. h. die Anordnungen der Cluster der beiden 
Masken sind um 90° gegeneinander gedreht 

Bei der Erzeugung des Testmusters und beim Vor- 
gang der Bilderkennung wird also beispielsweise mit 
io zwei Masken gearbeitet, beim ersten Bild mit Maske 1, 
beim zweiten Bild mit Maske 2, usw., d. h. bei ungerad- 
zahligen Bildern mit Maske 1, bei geradzahligen Bildern 
mit Maske 2. Beim KorrelationsprozeB, d. h. beim Ver- 
gleich der gespeicherten Merkmalsvektoren mit den ak- 
15 tuellen Merkmalvektoren, ergibt sich das Problem, daB 
es bei dem zu vergleichenden Bild unbekannt ist, mit 
welcher der beiden Masken das entsprechende Testmu- 
ster oodiert wurde. Zur Ldsung dieses Problems wird 
daher jedes Testbild mit beiden moglichen Clusteran- 
20 ordnungen (Masken) oodiert und es werden zwei unter- 
schiedliche, zueinander orthogonale Testsequenzen er- 
zeugt und gespeichert Die Abtastung des laufenden 
Programmes erfolgt aber nur mit einer Sequenz, so daB 
auch nur ein laufender Merkmalsvektor gebildet wird. 
25 Dieser muB dann auch nicht mit beiden gespeicherten, 
zueinander orthogonalen Test-Merkmalsvektoren ver- 
glichen werden. Die Korrelation erfolgt vielmehr nur 
mit dem gespeicherten Merkmalsvektor, der mit der 
gleichen Clusteranordnung (Maske) beginnt, wie das 
30 laufende Programm. Wenn beispielsweise grundsatzlich 
bei alien Testmustern das erste, also ungerade Bild mit 
der Maske 1 codiert wird, dann wird es nur mit dem 
Muster des laufenden Programmes korreliert, das zur 
Zeit ebenfalls mit Maske 1 beim ersten Bild beginnt 
35 Durch diese orthogonalen Anordnungen von zwei 
Masken steigt der Korrelationsaufwand nicht, es muB 
nur sichergestellt sein, daB das jeweils "richtige" Test- 
muster zur Verfugung steht Da bei der Abtastung des 
aktuellen Bildes bekannt ist, mit welcher der beiden 
40 Masken die Abtastung begonnen wurde, ist eine eindeu- 
tige Zuordnung moglich, so daB dann bei der Korrela- 
tion auf denjenigen gespeicherten Merkmalsvektor zu- 
gegriffen werden kann, der mit derselben Maske be- 
ginnt 

45 Eine Modification der Erfindung sieht vor, daB bei 
gleich langem Merkmalsvektor fur eine Bildsequenz das 
Verhaltnis von Cluster pro Bild und Anzahl der aufein- 
anderfolgenden Bildern verandert werden kann. Be- 
schrankt man beispielsweise den Merkmalsvektor auf 
50 510 Bit, so kdnnen in einem Extremfall 510 Bit pro Voll- 
bild verwendet werden, so daB also nur noch ein Voll- 
bild verglichen wird. Im anderen Extremfall kdnnen 510 
Vollbilder mit je nur einem Cluster verglichen werden. 
Dazwischen sind eine Vielzahl von anderen KLombina- 
55 tionen mdglich. Anders ausgedrQckt kann man grund- 
satzlich von 510 vorzeichenoodierten Clusterdifferen- 
zen sprechen, die bedarfsgem&B gleichmaBig Qber eine 
entsprechende Anzahl von Bildern verteilt werden kdn- 
nen. Man kann auch noch weiter verallgemeinern indem 
60 grundsatzlich bei jeder Testmustergewinnung von je- 
dem Bild eine Vielzahl von Clusterdifferenzen codiert 
wird und es wird jedem Referenzmuster ein Schlussel- 
wort mitgegeben, das angibt* mit welcher Teilmenge des 
Testmusters korreliert werden solL Auf diese Weise las- 
65 sen sich bildgenaue z. B. auf ein Senderlogo abgestellte 
und szenenorientierte Referenzmuster erzeugen. 

Im folgenden wird die Erfindung anhand eines Aus- 
fuhrungsbeispieles im Zusammenhang mit der Zeich- 



BNSDOCID: <DE 4309957C1J_> 



DE 43 09 957 CI 



8 



• nung ausfuhrlicher erlautert Es zeigt 

Fig. 1 Ein Diagramm der Standardabweichung eines 
Spielfilms in Abhangigkeit von der ClustergroBe (An- 
zahl der Pixel); 

Fig. 2 eine schematische Darstellung der Anordnung 
der Cluster mit zwei zueinander orthogonalen Masken 
und das sich hieraus ergebende Referenzmuster; 

Fig. 3 eine schematische Darstellung zur Erlauterung 
des Korrelationsvorganges bei Verwendung von zwei 
alternierend wirksamen Masken (Anordnung der Clu- 
ster). 

Fig. 4 ein Diagramm der Korrelationsergebnisse bei 
"richtiger" und "falscher" Korrelation des laufenden Pro- 
grammes mit den unterschiedlichenTestmustern; 

Fig. 5 ein Blockschaltbild eines Gerates zur Signal- 
vorverarbeitung fur die Erkennung unikater Bildsignale 
nach einer ersten Variante der Erfindung; 

Fig. 6 ein ahnliches Blockschaltbild fOr eine zweite 
Variante nach der Erfindung; 

Fig. 7 ein vereinfachtes Blockschaltbild eines Gerates 
zur Durchf iihrung der Korrelation; und 

Fig. 8 ein detaillierteres Blockschaltbild eines Gerates 
zur Durchfuhrung der Korrelation nach einem Ausfuh- 
rungsbeispiel der Erfindung. 

Fig. 1 macht deutlich, daB die Standardabweichung 
von Bildfolgen (hier eines Werbefibmes) mit der Cluster- 
groBe ansteigt (ClustergroBe = Anzahl der Pixel pro 
Cluster), so daB es keine eindeutigen, scharf abgrenzba- 
ren Kriterien fur die ClustergroBe gibt, vieimehr steht es 
dem Fachmann frei, aufgrund anderer, oben genannter 
Kriterien, die ClustergroBe auszuwahlen. Ein dabei zu 
beachtendes Kriterium liegt im Rauschen des Videosi- 
gnales, das ab einer ClustergroBe von etwa 8 Pixel im 
wesentlichen konstant bleibt. 

Fig. 2a zeigt schematisch die Anordnung von zehn 
Clustern 1 — 10 bzw. deren Verteilung uber die Oberfla- 
che eines Bildes. Durch die Pfeile ist die jeweilige "Rei- 
henfolge" gekennzeichnet, in der die Cluster abgefragt 
werden, also als (zeitlich) "benachbart" angesehen wer- 
den. Zwischen jeweils benachbarten Clustern wird das 
Vorzeichen der Differenz der Luminanzwerte der Clu- 
ster gebildet, also beispielsweise zwischen Cluster 1 und 
Cluster 2, zwischen Cluster 2 und Cluster 3 usw. bis 
zwischen Cluster 9 und Cluster 10. Der letzte Cluster 
(hier Cluster 10) eines Vollbildes wird dann mit dem 
ersten Cluster (Cluster 1) des nachsten Vollbildes vergli- 
chen oder bei einer Variante der Erfindung mit dem 
ersten Cluster desselben Vollbildes. Die in Fig. 2a dar- 
gestellte Anordnung und Reihenfolge der Cluster bildet 
eine erste "Masked 

Fig. 2b zeigt eine entsprechende zweite Maske, die 
gegenuber der ersten Maske der Fig. 2a urn 90 Grad 
gedreht ist, zu dieser also orthogonal ist. 

Bei der Auswahl "benachbarter" Cluster ist darauf zu 
achten, daB sie raumlich auf dem Bild einen groBen Ab- 
stand zueinander haben, damit "benachbarte" Cluster 
mdglichst voneinander unabhangige Bildbereiche re- 
prasentieren. Die Reihenfolge ist daher so festzulegen, 
daB die raumlichen Abstande "benachbarter" Cluster im 
Mittelwert mdglichst groB sind. 

Fig. 2c zeigt, wie ein Muster (Merkmalsvektor) durch 
alternierendes Umschalten zwischen den beiden Mas- 
ken nach Fig. 2a und Fig. 2b erzeugt wird. Jeweils ein 
Vollbild wird mit der ersten Maske nach Fig. 2a abgeta- 
stet, das nachste Vollbild mit der Maske nach Fig. 2b, 
usw. Im gewShiten Ausfuhrungsbeispiel mit einer Se- 
quenz von 51 Vollbildern pro Merkmalsvektor ergibt 
sich dann das schematisch in Fig. 2c gezeigte Muster, 



wobei jedes Vollbild 10 Bit des Musters einnimmt. 

Wie schon oben erwahnt, besteht jeder Cluster aus 
mehreren Pixeln, die hier beispielsweise in einem Recht- 
eck von 5x5 Pixel angeordnet sind. Die Pixel jedes 
5 Clusters sollen mdglichst nahe beieinander liegen, um so 
vom Bildinhalt her mdglichst miteinander zu korrelie- 
ren, d. h. hinsichtlich ihres Luminanzwertes eine innere 
Bindung zueinander haben. 
Fig. 3 zeigt schematisch den Vorgang der Korrelation 
io eines Referenzmuster aus einem laufenden Programm 
mit gespeicherten Testmustera Zur Erzeugung des 
Testmusters wird jede Bildfolge (hier 51 Bilder) mit bei- 
den Masken nach Fig. 2a und Fig. 2b abge taste t Die mit 
Maske 1 beginnende Abtastung bildet einen ersten 
15 Merkmalsvektor, der in einem Testspeicher 1 abgespei- 
chert ist. Die mit Maske 2 beginnende Abtastung bildet 
einen zweiten Merkmalsvektor, der in einem Testspei- 
cher 2 abgespeichert wird. Die beiden Merkmalsvekto- 
ren sind also zueinander orthogonal. Das laufende Pro- 
20 gramm (Referenzmuster) wird in einer vorgegebenen 
und damit bekannten Maskenfolge abgetastet, d. h. ent- 
weder beginnend mit Maske 1 oder Maske 2. Wird das 
Referenzmuster entsprechend Fig. 2c beginnend mit 
Maske 1 erzeugt, so muB der Vergleich mit dem im 
25 Testspeicher 1 abgelegten ersten Merkmalsvektor er- 
folgen. Beginnt die Abtastung dagegen mit der Maske 2 
gemaB Fig. 2b so erfolgt der Vergleich mit dem im Test- 
speicher 2 abgelegten Merkmalsvektor. 
Da jeweils nach jedem Vollbild die Maske gewechselt 
30 wird und nach jedem Vollbild ein Vergleich zwischen 
dem Testmuster und dem Referenzmuster stattfindet, 
wird der Vergleich immer abwechselnd mit dem im 
Testspeicher 1 bzw. dem im Testspeicher 2 abgelegten 
Merkmalsvektor erfolgen. Pro Referenzmuster^ muB 
35 aber trotzdem jeweils nur ein Vergleich durchgefuhrt 
werden. 

Fig. 4 zeigt den Unterschied zwischen einem Ver- 
gleich mit dem "richtigen" und einen mit dem "falschen" 
Testmuster. Bei einem falschen Testmuster wiirde also 

40 der Vergleich im Ergebnis um ein Bild versetzt erfolgen, 
was wegen der Orthogonality beider Anordnungen kei- 
ne Obereinstimmung ergabe. Die obere Kurve zeigt das 
fur Obereinstimmung typische Maximum. Die Korrela- 
tion deutet sich also schon einige Bilder vorher an, er- 

45 reicht das Maximum und fallt dann in ahnlicher Weise 
wieder ab. Durch die orthogonalen Anordnungen der 
beiden Masken steigt der Korrelationsaufwand nicht. 

Fig. 5 zeigt ein Blockschaltbild eines Gerates fur die 
Signalvorverarbeitung. Das ubliche Videosignal eines 

50 Fernsehers wird einem Videoeingang 11 zugefGhrt Die- 
ses Signal entspricht der CCIR-Norm und ist vom Typ 
BAS mit einer exakt auf 0 Volt geklemmten Schwarz- 
schulter. Die Bildamplitude betriigt 0,7 V. Die Sync-Am- 
plitude —0,3 V. Somit ist dem Videoeingang 11 ein han- 

55 delsiibliches Gerat vorgeschaltet, das den FarbtrSger 
beseitigt und die Schwarzschulter auf 0 Volt f estklemmt. 
Aus diesem Videosignal wird in einem ersten Baustein 
12 eine Taktaufbereitung vorgenommen. Derartige 
Bausteine sind im Handel erhaltlich und extrahieren aus 

60 dem Videosignal folgende Synchronsignale: Austastim- 
puls BL, Zeilensynchronimpuls H, Halbbildsynchronim- 
puls V und einen Voilbildimpuls FR. 

Mit Hilfe dieser Signale werden in einem als Steuer- 
zentrale bezeichneten Block 13 ein Spalten- und ein 

65 Zeilenzahler gespeist, mit Hilfe derer Ausgangssignaie 
jedes Pixel eines Fernsehbildes nach Spalte und Zeile 
eindeutig identifiziert werden kann. Mittels eines als Co- 
dierfeld bezeichneten Blockes 14 werden die einzelnen 
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Cluster, d. h. die zu den einzelnen Clustern zu rechnen- 
den Pixel definiert, so daB dann mit Hilfe der in der 
Steuerzentrale 13 vorhandenen Zeilen- und Spaltenzah- 
ler die jeweiligen "Adressen" der auszuwahlenden Pixel 
bestimmt sind. Die Steuerzentrale 13 steuert Halbleiter- 5 
schalter 15i t 152 ... 15 n +2 an, wobei n die Anzahl der 
abzutastenden Cluster pro Vollbild ist. Es sind also zwei 
Halbleiterschalter mehr vorgesehen als Cluster pro 
Vollbild abgetastet werden. Jeder Halbleiterschalter ist 
mit einem Integrator I61, I62 . . . 16 n+ 2 verbunden, der- 10 
art, daB bei geschlossenem Halbleiterschalter 15 der 
Videoeingang auf den Eingang des zugeordneten Inte- 
grators 16 durchgeschaltet wird. Wird durch die Steuer- 
zentrale festgestellt, daB eines zu einem Cluster i geho- 
rendes Pixel am Videoeingang anliegt, so wird der ent- 15 
sprechende Schalter durch ein Signal Ii geschlossen und 
die zu diesem Pixel gehorende Helligkeitsinformation 
(Luminanzwert) wird dem zugeordneten Integrierer 16j 
zugefilhrt. Auf diese Weise liefert der Ausgang des Inte- 
grators nach Ablauf eines Vollbildes die Summenlumi- 20 
nanz aller zum Cluster i gehorenden Pixelwerte. Die 
Ausgfinge jeweils zweier nacheinander zu bewertender 
Cluster werden einem Komparator 17 zugefilhrt, der an 
seinem Ausgang eine logische 1 ausgibt, wenn der Lu- 
minanzwert des Clusters i groBer ist als der des Clusters 25 
(i + 1). Sind alle fur einen Vollbildzyklus definierten Clu- 
ster erfaBt und verglichen, speichert ein Taktimpuls CI 
alle Ausgangswerte der Komparatoren 17 in Datenspei- 
chern 18 und stellt deren Bits als Teil-Merkmalsvektor 
(fur ein Vollbild) einer Korrelationseinrichtung zur Ver- 30 
ffigung. Jeder solche Teii-Merkmalsvektor enthalt die 
Daten eines Vollbildes. 

Da jedem Vollbild n Cluster (z. B. n = 10) entnommen 
werden, die n-te Differenz jedoch durch Vergleich mit 
dem ersten Cluster des nachsten Bildes zustandekommt, 35 
mOssen n -J- 2 Halbleiterschalter und Integratoren vor- 
handen sein. Einer der beiden Integratoren 16 n +i oder 
16 n +2 speichert die Information des n-ten Clusters des 
vorhergehenden Bildes; der andere Integrator 16 n +2 
oder 16 n +i nimmt die Information des letzten Clusters 40 
des aktuellen Bildes auf und speichert sie fur den Ver- 
gleich beim nSchstfolgenden Bild. Ffir diese beiden Inte- 
gratoren gilt eine besondere Regelung. Sie werden fur 
jedes zweite Vollbild abwechselnd aktiviert. Nach Ab- 
lauf eines Bildes und vor Beginn des neuen Vollbildes 45 
werden alle Integratoren bis auf einen geloscht, d. h. auf 
0 zurfickgesetzt Im einf achsten Fall besteht ein Integra- 
tor aus einem RC-Glied, dessen Kondensator durch ei- 
nen Reset-Impuls und einen elektronischen Schalter 
bzw. einen FET-Transistor entladen wird. 50 

Zusatzlich stellt die Steuerzentrale 13 noch ein Signal 
zur Verf Ugung, das als "Vollbild-Flag" der Korrelations- 
einrichtung die Gtiltigkeit der in den Speichern 18 ge- 
speicherten Werte anzeigt. Zur Speicherung dieses 
Flags ist ein weiterer Speicher 19 vorgesehen. 55 

Alternativ kdnnte vorgesehen sein, nur n + 1 Halblei- 
terschalter und n + 1 Integratoren vorzusehen und die 
Information des n-ten Clusters abwechseln bei jedem 
Vollbild in den Integrator n oder den Integrator n + 1 
einzuschreiben. Die Ansteuerung der entsprechenden 60 
Schalter 15 n und 15 n +i wurde zusatzlich zu den AdreB- 
signalen aus der Steuerzentrale 13 fiber einen Umschai- 
ter erfolgen, der durch einen bis zwei zahlenden Binar- 
z&hler oder beispielsweise ein Flip-Flop angesteuert 
wird Entsprechend mtiBte der letzte Komparator 17* 65 
der den Vergleich zwischen dem ersten Cluster des ak- 
tuellen Vollbildes mit dem n-ten Cluster des vorherge- 
henden Vollbildes durchffihrt, zwischen diesen beiden 



Komparatoren umgeschaltet werden und auch der eat- 
sprechende Komparator 17 n der den Vergleich zwi- 
schen dem n-ten Cluster und dem (n-l)-ten Cluster 
durchfOhrt 

Noch eine weitere Variante der Erfindung besteht 
darin, daB der Vergleich nur innerhalb eines Vollbildes 
in der Weise zyklisch erfolgt, daB der n-te Cluster mit 
dem ersten Cluster desselben Vollbildes verglichen 
wird. 

Fig. 6 zeigt eine zweite Variante ffir die Signalvorver- 
arbeitung. Der Videoeingang 11, die Taktaufbereitung 
12 und das Codierfeld 14 haben im Prinzip die gleiche 
Funktion wie im Ausfuhrungsbeispiel die Fig. 5. Ahnli- 
ches gilt fur die Steuerzentrale 13, die hier aber zusatz- 
lich die Funktion als AdreBgenerator fiir einen RAM- 
Speicher (Random Access Memory) tibernimmt Die 
Taktaufbereitung 12 erzeugt dieselben Synchronsignale 
wie im Ausfuhrungsbeispiel der Fig. 5 und fOhrt diese 
der Steuerzentrale zu. Dort wird ein Bildpunkttakt (Pi- 
xeltakt ca. 12— 14 Mhz) erzeugt, der einen Analog/Digi- 
talwandler 20 veranlaBt, ca. alle 70 ns einen aktuellen 
Luminanzwert des Videosignales in ein 8-Bit- Wort um- 
zuwandeln. Gleichzeitig erzeugt die Steuerzentrale 13 
aus den Werten der Zeilen- und Spaltenzahler eine 
RAM-Adresse, unter der der aktuell gewandelte Lumin- 
anzwert kumulierend gespeichert wird. Hierzu wird ei- 
ner arithmetisch-logischen Einheit (ALU) 21 zum einen 
der bisherige Speicherinhalt und zum anderen das Er- 
gebnis des AD-Wandlers 20 zugefiihrt und der Ausgang, 
d. h. die Summe mit gleichem Takt unter der gleichen 
Adresse in einen der beiden RAM-Speicher 22 oder 23 
abgespeichert Jedem Cluster entspricht dabei eine 
Speicherzelle. Bei den Speichern handelt es sich um so- 
genannte Dual-Port-RAMs, die an ihrem anderen Port 
asynchron wieder ausgelesen werden konnen. 

Ein Mikroprozessor 24 liest aus dem RAM 22 oder 23 
die kumulierten Luminanzwerte aus, bildet die Diffe- 
renzwerte zwischen "benachbarten" Clustern und gibt 
deren Vorzeichen an einen weiteren Speicher 25, der 
hier mit Ausgabelatch bezeichnet ist, weiter. An den 
Ausgangen dieses Ausgabelatch 25 stehen dann die glei- 
chen Bits als Bild-Merkmalsvektor an, wie an den Spei- 
cherplatzen I81 — 18n im Ausfuhrungsbeispiel der Fig. 5. 

Auch hier ist wie im AusfCihrungsbeispiel der Fig. 5 
ein "Vollbildflag" vorgesehen, das aus einem Speicher 19 
abzulesen ist 

Im Ausfuhrungsbeispiel der Fig. 6 werden zwei iden- 
tische Speicher 22 und 23 verwendet, wobei immer in 
einen Speicher das aktuelle Bild eingelesen wird, wah- 
rend das andere verarbeitet wird. Die Umschaltung er- 
folgt fiber die Steuerzentrale 13 durch entsprechende 
Ansteuerungen der Eingange ffir Lesen (Rd), Schreiben 
(Wr) und Takt (CI). 

In einer praktischen Ausffihrungsform konnen die 
beiden Speicher 22 und 23 naturlich in einen integrier- 
ten Schaltkreis zusammengefaBt sein, ebenso wie auch 
die Funktion des Mikroprozessors 24 und der Steuer- 
zentrale mit AdreBgenerator 13. 

Das Codierfeld 14, das auch hier die Zuordnung der 
Pixel (Spalten- und Zeilenadresse) zu den einzelnen Clu- 
stern vornimmt, ist in einem Programmspeicher zu dem 
Mikroprozessor untergebracht In Fig. 6 sind lediglich 
Funktionsblocke zum besseren Verstandnis getrennt 
gezeichnet 

Fig. 7 zeigt ein stark vereinfachtes Blockschaltbild ei- 
ner Korrelationseinrichtung. Eine Signalvorverarbei- 
tung 26 entsprechend den Ausffihrungsbeispielen der 
Fig. 5 oder 6 liefert jeweils bei Beendigung der Abta- 
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. stung eines Vollbildes einen Teil-Merkmalsvektor, der 
beim hier beschriebenen Ausfiihrungsbeispiel eine Lan- 
ge von 10 Bit hat Jeweils 51 aufeinanderfolgende Voll- 
bilder ergeben einen Merkmalsvektor von 510 Bit. In 
einer "Lernphase" werden von Testmustern (ausgewahl- 5 
te Bildfolgen) entsprechende Merkmalsvektoren er- 
zeugt und in einem Speicher 28 abgespeichert. Dies ist 
durch die gestrichelte Linie zwischen der Signalvorver- 
arbeitung 26 und dem Speicher 28 angedeutet, sowie 
durch einen Schalter 70, der in der "Lernphase" ge- 10 
schlossen ist Der Speicher enthalt eine Anzahl m Merk- 
malsvektoren. 

Wahrend des normalen Betriebes erzeugt die Signal- 
vorverarbeitung 26 ebenfalls aile 40 ms einen Teilmerk- 
malsvektor von 10 Bit Lange. Die Teilmerkmalsvekto- 15 
ren werden in ein Register 29 eingeschrieben, das insge- 
samt eine Anzahl n (beispielsweise 51) Teiibildvektoren 
enthalt Nach jedem Vollbild wird der letzte Teilbild- 
vektor neu eingeschrieben und der erste Teilbildvektor 
geloscht Damit wird der Merkmalsvektor (mit einer 20 
Lange von 510 Bit) also laufend aktualisiert Diese Ak- 
tualisierung erfolgt durch eine Steuerung 27, die von 
dem Speicher 19 der Fig. 5 oder 6 ein Signal fur die 
Beendigung der Abtastung eines Vollbildes erhalt So- 
bald ein Teil-Merkmalsvektor far ein neues Vollbild in 25 
das Register eingeschrieben ist, ruft die Steuerung 27 
aus dem Speicher 28 nacheinander alle dort gespeicher- 
ten Merkmalsvektoren ab und schreibt diese zeitlich 
nacheinander, in ein Register 30. Die beiden Register 29 
und 30 sind mit einem Vergleicher 31 verbunden, der die 30 
Registerinhalte vergleicht und bei einem vorgegebenen 
Grad der Obereinstimmung (z. B. 85 bis 95%) ein Signal 
"erkannt" an die Steuerung 27 abgibt Innerhalb der 40 
ms, die bis zum Eintreffen des nachsten Teil-Merkmals- 
vektors des letzten Vollbildes verstreichen, vergleicht 35 
der Vergleicher alle vollstandigen Merkmalsvektoren 
(Anzahl m) die im Speicher 28 abgespeichert sind. 

Werden die Registerinhalte der Register 29 und 30 als 
"ubereinstimrnend" erkannt, so kann die Steuerung 27 
das weitere Auslesen von Merkmalsvektoren aus dem 40 
Speicher 28 abbrechen. Zusatzlich registriert die Steue- 
rung 27 die Adresse desjenigen Merkmalsvektors im 
Speicher 28, bei dem Obereinstimmung auftrat und gibt 
ein entsprechendes Signal an eine nicht dargestellte 
Zentraleinheit ab. 45 

Fig. 8 zeigt ein Prinzipschaltbild einer Korrelations- 
schaltung. Diese Korrelationsschaltung entspricht im 
wesentlichen der der EP 0 296 588, wo sie zur Wiederer- 
kennung von Tonsignalen verwendet wird Durch ent- 
sprechende Aufbereitung der Bildinformation mit den 50 
Ausfuhrungsbeispielen der Fig. 1 bis 6 kann diese Schal- 
tung auch fur die Wiedererkennung von Bildsignalen 
verwendet werden. Die Ausgange der Speicher I81 — 18 
Index n (Fig. 5) oder des Ausgabespeichers 25 (Fig. 6) 
werden iiber einen nicht dargestellten Parallel-Serien- 55 
Wandler als serielles Signal Di N auf eine Leitung 37 
gegeben, und zwar unter Steuerung eines Taktsignales 
O das von einem nicht dargestellten Taktgeber auf einer 
Leitung 38 ankommt Die seriell ankommenden Signale 
Din werden zunachst in ein Schieberegister 39 einge- so 
schrieben, wobei dieses Schieberegister vom Takt <1> 
(Leitung 38) in Verbindung mit einem Gatter 40 gesteu- 
ert wird. Von diesem Schieberegister 39 gelangen die 
Signale Din byteweise (8 Bit Lange) uber einen Bustrei- 
ber 41 zu einem Speicher 42, der hier als RAM-Speicher 65 
mit zwei K x 8 Bit ausgelegt ist Nach einer nicht darge- 
stellten Variante ist es auch moglich, die an den Ausgan- 
gen der Speicher 18 bzw. 25 in paralleler Form vorlie- 



genden Signale parallel in den Speicher 42 zu uberneh- 
men, was durch das Vollbild-Flag des Speichers 19 ge- 
speichert werden kann. 

Eine Zahlerkette mit hintereinander geschalteten 
Zahlern 43, 44 und 45 erhalt Uber ein UND-GATTER 46 
das Taktsignal <1> und bestimmt fiber seine Ausgange die 
Adressen des Speichers 42, unter denen die vom Bus- 
treiber 41 ankommenden Signale abgespeichert wer- 
den. Hierzu wird der Takt <D im Zahler 43 zunachst 
durch 8 geteilt und als Byteadresse an die AdreBleitun- 
gen AO bis A 1 0 des Speichers 42 gelegt 

Der 1/0-Obergang bestimmter AdreBleitungen steu- 
ert zwei mit negativen Flanken getriggerte JK-Flip- 
Flops 46 bzw. 47, welche wichtige Steuerfunktionen 
ubernehmen. Bei einer Lange der Merkmalsvektoren 
von 512 Bit wird bei einem 1/0-Obergang der AdreBIei- 
tung A5 das erste Flip-Flop 46 getriggert, wenn ein 
Merkmalsvektor vollstandig gespeichert ist. Dieses 
Flip- Flop wird zu Beginn einer "Lernphase" durch eine 
Taste 48 ("Lern-Startausfuhrung") und zwei Gatter 49 
und 50 gesetzt (Ausgang Q = 1 ; Q quer = 0) und kippt 
dann beim 1/0-Obergang der AdreBleitung A5 zuruck 
und loscht die Zahler 43, 44 und 45. Es konnen dann 
weitere Merkmalsvektoren geladen werden, indem die 
beiden Zahler 44 und 45 Qber hier nicht gezeigte Leitun- 
gen auf eine Startadresse gesetzt werden. Nach jeweils 
weiteren 512 Takten wird wiederum uber das Flip-Flop 
46 der Vorgang gestoppt Die mit "Maskenende" be- 
zeichnete Leitung 51, die mit der AdreBleitung A5 ver- 
bunden ist, signalisiert einer hier nicht gezeigten Zen- 
traleinheit das Ende des Einschreibevorganges einer 
Maske bzw. eines Merkmalsvektors, wodurch der Takt 
O unterbrochen wird. u 

Wenn alle Merkmalsvektoren in den Speicher 42 ein- 
gelesen sind, wird ein Umschalter 70 in die dargestellte 
Stellung "K" fur Korrelieren umgeschaltet Gleichzeitig 
wird der Takt <X> erhoht Es werden dann die von den 
Signalvorverarbeitungen der Fig. 5 oder 6 ankommen- 
den, auszuwertenden Signale des laufenden Program- 
mes iiber eine Torschaltung 52 in nachfolgend naher 
beschriebener Weise in einen Speicher 53 eingelesen, 
und zwar wiederum mit derselben Taktrate, mit der die 
im Zwischenspeicher 42 abgespeicherten Test-Merk- 
malsvektoren getaktet wurden. Wahrend des Ver- 
gleichsvorganges werden nacheinander alle im Speicher 
42 abgelegten Merkmalsvektoren mit dem 512 (bzw. 
510) Bit des Speichers 53 verglichen, indem iiber zu 
diesen Speichern gehorende Zahlerketten 43, 44, 45 zu 
Speicher 42; Zahler 54 und 55 zu Speicher 53, diese 
Zahler adreBrichtig ausgelesen werden. Der Zahler 43 
ist nur "einkanalig" belegt und enthalt die letzten 512 Bit 
des an der Leitung 37 anliegenden Signales Din. Der 
Speicher 42 gibt seine Daten uber einen Multiplexer 56, 
der eine Parallel-Serienwandlung durchfiihrt, an einen 
Eingang des Vergleichers ab, der hier als Exklusiv-Oder- 
Gatter 56 ausgefuhrt ist Dem anderen Eingang dieses 
Exklusiv-Oder-Gatters 56 werden die Ausgangssignale 
des Speichers 53 zugefuhrt Bei Obereinstimmung sei- 
ner beiden Eingangssignale (also 0 und 0 oder 1 und 1) 
erscheint am Ausgang des Exklusiv-Oder-Gatters 56 ei- 
ne "1", welche uber ein Gatter 57 einer Zahlerkette aiis 
den zwei 4-Bit-Zahlern 58 und 59 zugefOhrt wird. Jede 
Obereinstimmung der Signale aus den beiden Speichern 
42 und 53 erhoht also den Zahlerstand der Zahlerkette 
58, 59 urn eine 1. 

Nach dem Vergleich jeweils eines Merkmalsvektors 
(512 Bit) wird durch ein Triggersignal (AdreBleitung A5) 
fur das Flip-Flop 56 (Leitung "Maskenende") der Zahler- 
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stand der Zahler 58, 59 im D-Register 60, 61 ubernom- 
men und die Zahler 58, 59 anschlieBend geloscht Die 
D-Register 60, 61 geben ihre Daten an einen nicht-dar- 
gestellten Rechner weiter, was ebenfalls ttber das Signal 
auf der Leitung "Maskenende" (Leitung 62) gestcuert 5 
wird. 

Bei vollstandiger Obereinstimmung von Referenz- 
Merkmalsvektor und Test-Merkmalsvektor kann der 
Zahlerstand der Zahler 58, 59 den Wert 512 enthalten. 
Wegen der fast immer vorhandenen Abtastfehler wird 10 
der Zahlerstand in der Regler niedriger sein. Die Praxis 
zeigt, daB bei guter Signalaufbereitung etwa 85—95% 
des maximalen Zahlerstandes bei Koinzidenz erreicht 
wird (ein Zahlerstand von 256 ist der Erwartungswert 
bei nicht-korrelierten Signalen). Wenn alle Merkmals- 15 
yektoren des Speichers 42 mit den aktuell im Speicher 
53 gespeicherten 512 Bit verglichen sind, wird dies — je 
nach Anzahl der Merkmalsvektoren — auf einem der 
Ausgange der Zahler 44 bzw. 45 erkannt und uber eine 
Leitung 63 dem Flip-Flop 47 gemeldet, welches um- 20 
schaltet und dafflr sorgt, daB ein Taktimpuls fur die 
Zahlerkette 43, 44, 45 unterdrQckt wird, wahrend die 
Zahlerkette 54, 55 des Speichers 53 weiterschaltet und 
Uber einen Impuls auf der Leitung 64 (Ausgang des 
Flip-Flop 47) das Tor 52 fOr einen Taktimpuls offnet und 25 
damit einen Abtastwert des Signales Din auf der Lei- 
tung 37 in den Speicher 53 einschreibt Dabei schaltet 
die Zahlerkette 54, 55 auch um einen Takt weiter, so daB 
zwischen den Adressen der beiden Speicher sich eine 
bei Vergleich jedes vollstandigen Merkmalsvektor eine 30 
um eine 1 vergroBernde Differenz ergibt Damit ist der 
Speicher 53 relativ zum Speicher 42 wie ein Schiebere- 
gister organisiert, welches nach einem Durchlaufen bzw. 
Vergleichen aller Merkmalsvektoren des Speichers 42 
um einen Schritt weiter schaltet. 35 

Sobald das ein Durchlaufen aller Merkmalsvektoren 
anzeigende Signal auf der Leitung 63 verschwindet, 
wird das Flip-Flop 47 Qber das nachste Taktsignal O, 
welches Qber Gatter 64, 65 und 66 zu dessen Rucksetz- 
eingang R gelangt, wieder riickgesetzt, wodurch das 40 
Gatter 46, welches die Taktimpulse zu der Zahlerkette 
43, 44, 45 laBt, wieder freigegeben wird Kurz zusam- 
mengefaBt werden also innerhalb von 40 ms, & h. der 
Zeitdauer zum Abtasten eines Vollbildes des Videosi- 
gnales alle gespeicherten Merkmalsvektoren zu je 45 
512 Bit verglichen. Das Flip-Flop 46 uberwacht dabei 
den einzelnen Merkmalsvektor (512 Bit), wahrend das 
Flip-Flop 47 die Gesamtzahl aller gespeicherten Merk- 
malsvektoren Qberwacht Je nach Anzahl der im Spei- 
cher 42 gespeicherten Merkmalsvektoren ist der Takt- 50 
eingang (Leitung 63) des Flip-Flop 47 mit einem ande- 
ren Ausgang der Zahlerkette 44, 45 verbunden. 

Im beschriebenen Ausf tihrungsbeispiel wird der Ver- 
gleich seriell mit einem Exklusiv-Oder-Gatter 56 durch- 
gefflhrt Da die Taktfrequenz filr den Vergleich mit der 55 
Anzahl der gespeicherten Merkmalsvektoren steigt, ist 
die Anzahl der Merkmalsvektoren durch die maximale 
Arbeitsfrequenz der digitalen Bausteine begrenzt Es ist 
daher prinzipiell auch mdglich, mehrere parallel arbei- 
tende Vergleiche einzusetzen, sei es, daB der Vergleich 60 
byteweise (8 Bit) durchgeftthrt wird, sei es auch, daB im 
Extremfall alle 512 Bits parallel in 512 parallelen EX- 
OR-Gattern verglichen wtirden. Letzteres ist allerdings 
relativ aufwendig, da Speicher mit 512 Ausgangen bend- 
tigt wtirden. es 

Weiterhin ist es prinzipiell auch moglich, mehrkanalig 
zu arbeiten, dergestalt, daB zwei oder mehrere Sender 
Qberwacht werden. Hierzu kdnnte man entweder den 
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Speicher 53 vergrdBern und derart organisieren, daB 
zwei verschiedene Eingangssignale Din parallel bzw. 
zeitlich verschachtelt eingelesen und verglichen werden 
oder daB statt des einen Speichers 53 pro Kanal ein 
eigener entsprechender Speicher vorgesehen ist. 

SchlieBlich ist es auch moglich, den Speicher 42 als 
Datenbank zu organisieren und uber einen Suchalgo- 
rithmus zu untersuchen, ob der im Speicher 53 vorhan- 
dene "Datensatz" in der "Datenbank" des Speichers 42 
vorhanden ist Der Suchalgorithmus kann dabei auch so 
aufgebaut sein, daB nicht nur nach "identischen" Daten- 
satzen, sondern nach "ahnlichen" Datensatzen (Daten- 
satz = ein Merkmalsvektor) gesucht wird. 

Da es bei der Wiedererkennung von Bildern bzw. 
Bildfolgen nicht nur darauf ankommt, ob eine der zu 
uberwachenden Bildfolgen gespielt wurde, sondern 
auch darauf, welche von diesen, kann gleichzeitig mit 
dem Korrelationsergebnis der Zahlerkette 58, 59 der 
Zahlerstand der Zahlerkette 43, 44, 45 abgefragt und in 
die nicht dargestellte Zentraleinheit eingegeben wer- 
den. Damit ist es moglich, den aktuell erkannten Merk- 
malsvektor (Bildfolge) zu identifizieren und dieses Iden- 
tifikationsergebnis zusammen mit Datum und Uhrzeit 
und ggf. auch den uberwachten Sendekanal zu spei- 
chern oder auszugeben. 

Zu den Speichern 42 und 53 ist noch anzumerken, daB 
die mit WE/quer bzw. OE/quer bezeichneten Eingange 
Steuereingange sind, wobei der Eingang WE/quer ein 
negierter "write enable"- Eingang ist, der das Einschrei- 
ben in den Speicher steuert, wahrend der Eingang OE/ 
quer ein negierter "output-enable"- Eingang ist, der das 
Auslesen von Daten aus dem Speicher steuert Durch 
die diesen Eingangen vorgeschalteten Gatter wird die 
Verbindung mit dem Taktsignal <J> und dem Signal auf 
der Leitung 64 bezOglich des Speichers 53 bzw. durch 
die Stellung des Schalters 70 und das die Obertragung 
eines Bytes (8 Bit) aus dem Speicher 42 identifizierende 
Signal des Zahlers 43 fUr den Speicher 42 Oberwacht, 
daB die beiden Speicher 42 und 53 nur zu den jeweils 
richtigen Zeitpunkten ausgelesen bzw. eingeschrieben 
werden konnen. Die iibrigen in der Zeichnung darge- 
stellten, jedoch in der Beschreibung nicht ausdrQcklich 
erwahnten Gatter bzw. deren externe Beschaltungen 
dienen ebenfalls der richtigen Funktion der Ablauf- 
steuerung, wobei deren Funktion dem Fachmann ohne 
weiteres ersichtlich ist, bzw. sich beim Aufbau der dar- 
gestellten Schaltung von selbst einstellt 

Patentanspriiche 

1. Verfahren zum Wiedererkennen von unikaten 
Bildsignalen, gekennzeichnet durch folgende 
Schritte: 

a) Aus Helligkeitswerten einer Anzahl n von 
Pixeln an mehreren vorbestimmten S tell en je- 
des Vollbildes wird je ein erstes Helligkeitssi- 
gnal ermittelt, 

b) diese ersten Helligkeitssignale von in einer 
vorgegebenen Reihenfolge aufeinanderfol- 
genden Stellen werden voneinander subtra- 
hiert, 

c) die Vorzeichen dieser Differenzen werden 
jeals 1 Bitdigitalisiert(Signumfunktion), 

d) die digitafisierten Signale werden als Test- 
Bitfolge (Merkmalsvektor) abgespeichert, 

e) die Schritte a) bis d) werden fOr eine Anzahl 
m (z.B. 51) aufeinanderfolgende Vollbilder 
wiederholt, 
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f) zu untersuchende Bildsignale werden in glei- 
cher Weise (Schritte a) bis e)) zur Erzeugung 
einer Referenz-Bitfolge (Referenz-Merkmals- 
vektor) aufbereitet und 

g) jede Test-Bitfolge wird mit alien Referenz- 5 
Bitfolgen verglichen und bei Oberschreiten ei- 
nes vorgegebenen MaBes der Obereinstim- 
mung wird ein Signal fur "Bildfolge" wiederer- 
kannt erzeugt 

2. Verfahren nach Anspruch 1, dadurch gekenn- 10 
zeichnet, daB in Schritt a) raumlich zusammenhan- 
gende Pixel eines Bildes einen Cluster bilden, des- 
sen Helligkeitssignal ermittelt wird. 

3. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die Pixel jedes Clusters in Form eines 15 
Quadrates unmittelbar benachbarter Pixel ange- 
ordnet sind. 

4. Verfahren nach Anspruch 3, dadurch gekenn- 
zeichnet, daB jeder Cluster 5x5 Pixel enthalt. 

5. Verfahren nach einem der Anspruche 2 bis 4. 20 
dadurch gekennzeichnet, daB die Helligkeitswerte 
(Luminanzwerte) aller Pixel eines Clusters zu dem 
Helligkeitssignal aufsummiert werden. 

6. Verfahren nach einem der Anspruche 2 bis 4 t 
dadurch gekennzeichnet, daB der arithmetische 25 
Mittelwert der Helligkeitswerte aller Pixel eines 
Clusters das Helligkeitssignal bildet 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB das Subtrahieren der 
Helligkeitssignale von in einer vorgegebenen Rei- 30 
henfolge benachbarten Stellen und das Digitalisie- 
ren der Vorzeichen dieser Differenzen in einem 
Arbeitsschritt mittels eines Komparators durchge- 
fuhrt wird. 

8. Verfahren nach einem der Anspruche 2 bis 7, 35 
dadurch gekennzeichnet, daB die Cluster statistisch 
uber die Flache des Vollbildes verteilt sind. 

9. Verfahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daB die Reihenfolge, in der die Hellig- 
keitssignale benachbarter Cluster voneinander 40 
subtrahiert bzw. miteinander verglichen werden, so 
festgelegt ist, daB der Mittelwert der raumlichen 
Abstande der in dieser Reihenfolge jeweils benach- 
barten Cluster einen Maximalwert einnimmt. 

10. Verfahren nach Anspruch 9, dadurch gekenn- 45 
zeichnet, daB der in der Reihenfolge letzte Cluster 
mit dem ersten Cluster des nachsten Vollbildes ver- 
glichen wird 

11. Verfahren nach Anspruch 9, dadurch gekenn- 
zeichnet, daB der in der Reihenfolge letzte Cluster 50 
mit dem ersten Cluster des nachstfolgenden Voll- 
bildes verglichen wird. 

12. Verfahren nach einem der Anspruche 8 bis 11, 
dadurch gekennzeichnet, daB mindestens zwei von- 
einander verschiedene Clusteranordnungen (Mas- 55 
ken) vorgesehen sind und daB aufeinanderfolgende 
Vollbilder mit zyklisch abwechselnder Clusteran- 
ordnung (Masken) abgetastet werden. 

13. Verfahren nach Anspruch 12, dadurch gekenn- 
zeichnet, daB bei Verwendung von zwei Clusteran- 60 
ordnungen (Masken) diese einander gleich jedoch 
gegenuber einem abzutastenden Bild um 90 Grad 
gegeneinander gedreht sind. 

14. Verfahren nach Anspruch 12 oder 13, dadurch 
gekennzeichnet, daB jede Testbildfolge mit alien 65 
zyklischen Clusterf olgen (Masken) abgetastet wird, 
daB jede Referenzbildfolge nur mit einer zyklischen 
Clusterfolge (Maske) abgetastet wird und daB jede 
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so ermittelte Referenzbitfolge nur mit einer ausge- 
wahlten der verschiedenen Testbildfolgen korre- 
liert wird. 

15. Verfahren nach einem der Anspriiche I bis 14, 
dadurch gekennzeichnet, daB der Vergleich jeder 
Test-Bitfolge mit alien Referenzbitfolgen jedesmal 
dann stattfindet, wenn ein Vollbild abgetastet ist 

16. Vorrichtung zur Durchfuhrung des Verfahrens 
nach einem der Anspruche 1 bis 15, gekennzeichnet 
durch: 

— einen Taktaufbereitungsschaltkreis (12), der 
aus einem Videosignal mindestens ein Zeilen- 
taktsignal und ein Spaltentaktsignal erzeugt, 

— ein Codierfeld (14), das vorbestimmte Pixel 
des im Videosignal enthaltenen Bildes bezeich- 
net, 

— eine Steuereinrichtung (13), die mit dem 
Taktaufbereitungsschaltkreis (12) und dem 
Codierfeld (14) verbunden ist und mindestens 
einen Summierer (21; I61 — 16n+2), so ansteu- 
ert, daB Luminanzwerte des Videosignales, der 
von dem Codierfeld (14) vorbestimmten und 
durch das Zeilentaktsignal und das Spalten- 
taktsignal identifizierten Pixel in zu Clustern 
zusammengefaBten Gruppen aufsummiert 
werden, 

— eine Vergleichseinrichtung (24; 17i — 17 n ) in 
der die Summensignale der einzelnen Cluster 
mit Summensignalen anderer vorbestimmter 
Cluster verglichen werden und pro Vergleich 
ein digitales Signal in Form eines Bits erzeugt 
wird, das anzcigt, welcher der beiden vergli- 
chenen Cluster einen groBeren Luminanzwert 
hat, 

— einen Speicher (25; I81, 18 n ), in dem die 
Vergleichsergebnisse gespeichert werden und 

— eine Korreliereinrichtung (Fig.'7), in wel- 
cher der Inhalt des. Speichers (25; I81 . . . 18 n ) 
mit in einem weiteren Speicher (30;' 42) gespei- 
cherten Testbildmustern in einer vorbestimm- 
ten Taktfolge lauf end korreliert werden. 

17. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB die Summierer Integratoren 
(I61 — 16 n +2) sind, die uber von der Steuereinrich- 
tung (13) angesteuerte Schalter (15i — 15 n +2) mit 
dem Videosignal beauf schlagt werden. 

18. Vorrichtung nach Anspruch 16, dadurch ge- 
kennzeichnet, daB der Summierer eine arithme- 
tisch/logische Recheneinheit (21) ist, deren einem 
Eingang uber einen Analog/Digital- Wandler (20) 
ein digitalisiertes Videosignal und deren anderem 
Eingang ein in einem Zwischenspeicher (22, 23) 
zwischengespeicherter Wert zugefuhrt wird und 
deren Ausgang mit dem Zwischenspeicher (22, 23) 
verbunden ist. 

19. Vorrichtung nach Anspruch 17, dadurch ge- 
kennzeichnet, daB die Ausgange der Integratoren 
(I61 — 16 n +2) jeweils paarweise mit einem Kompa- 
rator (17i — 17 n ) verbunden sind, der die in den zu- 
geordneten Integratoren aufsummierten Lumi- 
nanzsignale vergleicht und in Abhangigkeit von 
diesem Vergleich ein Signal an den Speicher 
(18t-18 n ) ausgibt 

20. Vorrichtung nach Anspruch 19, dadurch ge- 
kennzeichnet, daB einem Eingang der Komparato- 
ren (17i — 17 n ) zusatzlich ein vorbestimmter 
Schwellwert hinzuaddiert wird. 

21. Vorrichtung nach Anspruch 18, dadurch ge- 
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kennzeichnet, daB die in den Zwischenspeichern 
(22, 23) ftir die einzelnen Cluster abgespeicherten 
Summensignale unter Steuerung eines Mikropro- 
zessors (24) in vorbestimmter Reihenfolge mitein- 
ander verglichen werden und das Vergleichsergeb- 
nis in den Speicher (25) abgelegt wird. 
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